Add an initial man page - ostree(1)

Heavily cribbed from systemd - thanks Lennart!

ostbuild: Port chroot-compile-one to ostbuild executor

ostbuild: Port commit-artifacts to ostbuild executor

ostbuild: Move autodiscover-meta to ostbuild executor

ostbuild: Make new 'ostbuild' main entry point, and compile-one a subcommand

The collection of Python scripts here have gotten to the point where
we need to share code.  Start refactoring things so that we have one
main command which imports subcommands as libraries.

ostbuild: Propagate buildroot version, finish add-artifacts

We need to track what buildroot each artifact was created in.

gnomeos: Add --skip-if-unchanged for yocto commit, also show a diff after building

We don't want to make new commits if nothing changed.

core: Add --add-metadata-string option for commit

A convenience function for the common case of slapping a string into
the metadata.

core: Fix libarchive test count

core: Add --tar-autocreate-parents option for commit

The tar files we're making of artifacts don't include parent
directories.  Now we could change the builder to make them, but we can
also just autocreate them on import.  Mode 0755 with no xattrs seems
OK here.

core: Fix build with libarchive disabled

core: Add --skip-if-unchanged option for commit

There's not much point for OS builds to have "empty" commits.

core: Add some more sanity checks to pull when parsing metadata

core: Preemptively error out on paths longer than PATH_MAX

Just noticed this while thinking like an attacker.

core: Allow / in ref names like git does

Using / is nice basically.

gnomeos: Update yocto commit script for new commit commandline syntax

core: Use global random object

We were pointlessly creating a new rand (and thus opening /dev/random)
on every temp file creation, but still using the global rand.

core: Drop unix::is-mountpoint from fast queryinfo flags

If this is present, we call access() and stat() on the parent
directory.

core: Use GFile for repo constructor API, and a bit more internally

Also, ensure that the repo directory GFile is absolute - this avoids
a getcwd() syscall every time we construct a GFile object.

core: Add --recompose option for compose

This will allow us to easily regenerate a compose without passing the
full list of components each time.

core: Change compose to operate purely in-memory

This is *significantly* faster than checking out each branch into the
real filesystem, then importing it again.

core: Allow specifying a previous commit tree as a basis for a new commit

It's pretty trivial to map a previously existing commit tree into a
mutable tree too.  While we're here change the command line arguments
for commit so that we can now properly overlay any combination of
directory, commit, or tarfile.

core: Expose more details of commit via API

Rather than offering high level "commit directory", instead perform
operations on a mtree.  Commits are treated more like regular objects.

Change the commit builtin to drive this all at a lower level.

core: Add omitted mutable tree files

core: Rename "store" public APIs to "stage" since that's what they do

core: Make OstreeRepoFile "public"

* "ls" used it
* It's not like our internal API is 100% stable anyways
* The _ is ugly

core: Add new "mutable tree" class, use it for tar file import

The tar import code forced the resuscitation of a hackish "FileTree"
data type for representing an in-memory tree.  Split this out
into an OstreeMutableTree class for future use by any other in-memory
tree construction.

core: Remove dead code from OstreeRepoFile

Originally I thought it would make sense for OstreeRepoFile to be
mutable, and it probably does, but we should do it in a different way.

ostbuild: Separate metadata discovery, kill wrapper scripts

Add a simple KEY=VALUE metadata file format, and rather than
assuming 'basename' at a low level, allow passing e.g. NAME=gtk3
to override "gtk+".

The wrapper scripts are annoying...for now let's just remove them.

ostbuild: In chroot build, reuse source directory basename

This ensures that the output artifacts are named correctly, and not
"source".

ostbuild: Ensure private libraries are in runtime, and kill .la files

A regular libfoo.so not in one of the regular directories should go in
runtime.  (Probably we should double check it's a regular file too).

Also, delete .la files unconditionally.

core: Support committing multiple tarballs in the same transaction

ostbuild will generate two artifacts: foo-runtime.tar.gz and
foo-devel.tar.gz in the general case.  When committing to the devel
tree, it'd be lame (i.e. slower and not atomic) to have to commit
twice.

gnomeos: Rename images to "runtime" and "devel"

They're just better names, and this matches what the
default artifact splitter is doing now.

ostbuild: Flesh out chroot build to use ostbuild-user-chroot

One thing that made this take significantly longer than it might
have otherwise is that we have to keep PWD "up to date" - otherwise
we hit bugs in glibc's getcwd() implementation.

gnomeos: Pull in ostree from working copy directly

We'll just try to keep it stable.

core: Install unversioned .so, and kill .la file

This avoids Yocto barfing on a versioned shared library symbolic link
without a -dev package.

core: Support --owner-uid and --owner-gid options for commit

This allows us to more easily import user-built tarballs into
a root-owned OSTree repo.

tests: Ensure we quote grep pattern

Otherwise we fail if the pattern starts with -

core: In user mode checkouts of archives, use hard links

Now that we've done all the gyrations to separate content from
metadata in archives, we can just hard link when doing user checkouts.

core: Fix a few memory leaks

gnomeos: Don't make device files

We don't need them any more inside a chroot now that we have
ostbuild-user-chroot.

core: INCOMPATIBLE CHANGE: Split archive files in two parts (meta and content)

This will allow us to have hardlink checkouts of archives.  A key use
case here is an archive repo of an OS (with root-owned files etc.)
where we want to do builds in a user tree.

A positive side effect of doing things this way is that now the SHA256
checksums for a given file should be identical regardless of whether
it's stored in an archive or bare repository.

core: Don't insert null byte in temporary file names

core: Add utility functions to convert a OstreeObjectType to/from a string

core: INCOMPATIBLE CHANGE: Name repo files with their type (e.g. .dirmeta)

This makes inspection easier.  Internally the code gets simpler because
metadata and files are more unified; there is just one object type.

osbuild: Make a MS_NOSUID bind mount over /

This closes a serious issue in that we still do a uid switch to 0 when
executing a suid binary, even though we're not gaining capabilities.

core: Initialize variables in fsck

Otherwise we segfault on an unhandled filename.

core: Change fsck to use packfile parsing API

core: s/pack/archived/

This completes the rename from the previous commit.

core: Make ot_transfer_out_value() take a & for the second argument

As Ray Strode argued, it's confusing to have something that looks like
a function be magical.  And OT_TRANSFER_OUT_VALUE is uglier.

core: INCOMPATIBLE CHANGE: Rename .packfile to .archive

It's too confusing that we call the mode "archive" but the actual
files ".packfile".  Also, git already has a "packfile" that serves a
totally different purpose.

core: Switch is_archive to an enumeration

This is in preparation for adding a third mode.

core: Delete some dead code

core: Clean up checkout code

Take a GFile * for destination.  Also, we only need one recursive
function, not two.

user-chroot: Add --unshare-pid, --unshare-net, and --mount-proc

To use CLONE_NEWPID we have to actually call clone() because it's
not supported by unshare().

To enable CLONE_NEWPID to be useful, we have to allow creating a new
proc mount rather than binding an existing one.

ostbuild: Add --unshare-ipc flag for user-chroot

This optionally closes down more paths to the host, which is
a good thing.

core: Add -U option for checkout to skip lchown() and xattrs

This is useful for checking out an OS filesystem tree as a regular
user, and not caring about /dev and stuff.

core: Ensure we chown created directories too

core: Remove some useless wrapping of packfile unpacking in checkout

ostbuild: Compile and install ostbuild-user-chroot

It still needs to be made setuid.

ostbuild: Also allow making directories read-only

ostbuild: Clarify "safely" for user-chroot

ostbuild: Recursively make mount points private

This ensures we're not going to mutate any global state.

ostbuild: Allow binding arbitrary directories, don't hardcode /proc /dev

This is just more flexible, and eventually we want this to be a
generic user-chroot tool.

ostbuild: Ensure user chroot mounts are not shared

It's possible that the root filesystem mount is global; we need
to undo that in order to be sure that our "private" bind mounts
really are private.

ostbuild: Update user-chroot to bind mount /proc and /dev

core: Major cleanup to internal import API

core: Further unify code for importing from local FS and libarchive

Note this change makes it so we no longer call link() from an import
filesystem tree to the repository.  This is a Good Thing really; it
makes local FS commits slower, but also less prone to corruption.

core: Ensure we initialize checksum in FIFO case too

core: Add _from_input variant of checksum API

ostbuild: ostbuild-user-chroot: New Linux-specific utility for safe chroots

gnomeos: Make run script transparently update existing FS image

This is noticeably faster.

gnomeos: commit-yocto-build.sh: Directly import tar files

Oh wow...this is fast.

core: Fix handling of hardlinks for tar commits

We were creating files with the wrong name.  Add a test.

core: Support for committing from any libarchive-supported format

We really want the ability to take a .tar.gz and directly import
it into a repository, without creating a temporary filesystem tree.

First, doing it this way is significantly faster.  Also, this allows
us to handle importing tar files with e.g. uid 0 files into packed
repositories as non-root, which is very useful for tests and builds.

core: Fix a memory leak in checkout

core: Handle NULL xattrs in packfile generation, throw error on invalid mode

core: Correctly map S_ISDIR to G_FILE_TYPE_DIRECTORY

core: Clean up filename utility API

Remove more unused functions, and change pathname splitting to handle
more cases like duplicate //, and to throw an error on .. as a filename.

core: Initialize checksums for non-regular files, handle NULL xattrs

core: Delete some dead utility code

core: New ot_transfer_out_value() macro

This makes out values considerably less typing.

core: Ensure we clean up leftover directories during merge

(Not sure why this regressed)

core: Fix packed file creation

We were calculating the wrong checksum, and also mistakenly
not using packed files in archive mode for non-regular files.

core: Don't use g_file_delete(), it calls into g_vfs_get_default()

For some (probably crazy) reason.  Skipping this and calling
unlink() directly makes 'strace' MUCH smaller.

core: Avoid reading regular file data twice when archiving

core: Further unify API to create files

We now have just one place which writes to the filesystem.  Wrap a
temporary file allocation API on top of that.

core: Use g_io_error_from_errno() to ensure we have more useful error codes

core: Move pack file parsing into core, add ostree_create_file_from_input() API

This moves us closer to consistently passing around a triple of:
  (GFileInfo *info, GVariant *xattrs, GInputStream *content)
Which will help the libarchive work.

core: Tweak dir metadata importing code for libarchive work

This will allow us to share a bit more code.

core: Modify pack file importer to also optionally checksum

For future work on importing from an archive.

core: Add ot_gfile_create_tmp_symlink()

In some cases we'll need the ability to create a symbolic link, then
actually import it.

core: Propagate GCancellable a bit from the import APIs

core: Drop some dead code from packfile writing, expose GInputStream API too

We never actually dropped into the bits to write metadata as packfiles,
because such a thing doesn't exist.

Also add a GInputStream-based API for writing packfiles.

core: Extract stage_and_checksum() internal API

This will be used for staging both metadata and data consistently
before actually importing it.

core: Add ot_gfile_create_tmp() to utils, use it

repo: Don't call g_hash_table_destroy on a NULL hash

core: Split pull functionality into separate ostree-pull binary

This is to avoid everything depending on libsoup.

core: Make libostree.so an installed library

This will make it easier to have multiple binaries.

ostbuild: Relicense under LGPLv2+, tweak artifact generation